تسلط بر تجزیه و تحلیل داده های بزرگ با PySpark [ویدئو]

سرفصل ها و درس ها

پایتون و جرقه: مسابقه ای ساخته شده در بهشت Python and Spark: A Match Made in Heaven

• بررسی اجمالی دوره Course Overview

• پایتون در مقابل اسپارک Python versus Spark

• آماده شدن برای دوره Preparing for the Course

• اتصال ژوپیتر به اسپارک Connecting Jupyter to Spark

کار با PySpark Working with PySpark

• آشنایی با اسپارک Getting to Know Spark

• قدرت جرقه The Power of Spark

• قدرت Spark MLlib The Power of Spark MLlib

• Spark DataFrames Spark DataFrames

• عملیات داده اسپارک Spark Data Operations

آماده سازی داده ها با استفاده از Spark SQL Preparing Data Using Spark SQL

• بارگیری داده ها از فایل های CSV Loading Data from CSV Files

• رفع مشکلات در داده های ما - بخش اول Fixing Issues in Our Data – Part One

• رفع مشکلات در داده های ما - قسمت دوم Fixing Issues in Our Data – Part Two

• گروه بندی، پیوستن و تجمیع - بخش اول Grouping, Joining, and Aggregating – Part One

• گروه بندی، پیوستن و تجمیع - بخش دوم Grouping, Joining, and Aggregating – Part Two

یادگیری ماشین با Spark MLlib Machine Learning with Spark MLlib

• یادگیری ماشینی با اسپارک Machine Learning with Spark

• ساختن یک سیستم توصیه با Spark MLlib – قسمت اول Building a Recommendation System with Spark MLlib – Part One

• ساختن یک سیستم توصیه با Spark MLlib – قسمت دوم Building a Recommendation System with Spark MLlib – Part Two

• ساختن یک سیستم توصیه با Spark MLlib – قسمت سوم Building a Recommendation System with Spark MLlib – Part Three

• نهایی کردن سیستم توصیه ما Finalizing our Recommendation System

• آنچه تا کنون آموخته ایم What We Have Learned So Far

طبقه بندی و رگرسیون Classification and Regression

• یادگیری ماشینی با اسپارک Machine Learning with Spark

• خطوط لوله یادگیری ماشین Machine Learning Pipelines

• اجرای خط لوله رگرسیون لجستیک Running a Logistic Regression Pipeline

• پارامترها، ویژگی ها و ماندگاری Parameters, Features, and Persistence

• استخراج الگوی مکرر و آمار Frequent Pattern Mining and Statistics

تجزیه و تحلیل داده های بزرگ Analyzing Big Data

• پردازش زبان طبیعی با اسپارک Natural Language Processing with Spark

• شناسایی داده های ما Identifying Our Data

• آماده سازی و اکتشاف داده ها Data Preparation and Exploration

• ایجاد داده های آموزشی خام ما Creating Our Raw Training Data

پردازش زبان طبیعی در اسپارک Processing Natural Language in Spark

• آماده سازی داده ها و عبارات منظم Data Preparation and Regular Expressions

• پاکسازی و تبدیل داده ها Data Cleaning and Transformation

• آموزش مدل تحلیل احساسات – بخش اول Training a Sentiment Analysis Model – Part One

• آموزش مدل تحلیل احساسات – قسمت دوم Training a Sentiment Analysis Model – Part Two

یادگیری ماشینی در زمان واقعی Machine Learning in Real-Time

• واکشی داده ها از توییتر Fetching Data from Twitter

• جریان ساختار یافته جرقه Spark Structured Streaming

• مدیریت و تبدیل جریان ها Managing and Converting Streams

• مونتاژ راه حل جریان ML ما Assembling Our Streaming ML Solution

• رویکردی ساختاریافته به جریان ML A Structured Approach to ML Streaming

قدرت PySpark The Power of PySpark

• Running Spark در تولید Running Spark in Production

• در حال اجرا جرقه در مقیاس Running Spark at Scale

• نکات، ترفندها، و حذفیات Tips, Tricks, and Take-Aways